交互式元宇宙——从现实到虚拟的实时映射

什么是元宇宙？Meta (Facebook) 将元宇宙定义为下一代社交。元宇宙中的 3D 空间将让您以超出我们想象的方式进行社交、学习、协作和娱乐。

虚拟现实（VR）已成为将我们的体验与连接虚拟世界的重要工具，几乎无处不在，如视频游戏、3D 影院、教育、飞行模拟器等。现在 VR 已逐渐走进我们的日常生活。在这里，让我们从需求端倒推VR是如何通过技术手段实现的并梳理当前VR面临的挑战。从技术上讲，一个VR系统由三个部分组成——沉浸、交互和想象。它们依赖于多度感知技术、多度信息处理与合成技术，以及与用户间的多维度交互技术。

除语言外，人们通常通过五感与环境交流，其中：视觉 83%、听觉 11%、嗅觉 3.5%、触觉 1.5%、味觉 1%（Ergin，1995）。对于沉浸式体验，视觉冲击力起着最关键的作用，要求通过视网膜级像素密度的显示设备来低延迟的展现大视野 (FoV) 的 3D 场景。

多度信息处理与合成连接了虚拟或现实端与用户端。为了实现实时的3D交互，需要低延时的从另一侧捕获 3D 场景。首先我们需要获取彩色点云并进行处理以重建 3D 场景，然后使用计算机图形技术从用户眼睛的视点渲染场景。这些是极具挑战性的，为了满足用途体验我们需要实时重建高分辨率的 3D 场景，通过网络低延时传输海量数据到用户终端，并根据对用户眼球和视点追踪的结果，在难以察觉的短延迟内根据观察点位置进行渲染并显示。

超低延迟的要求使得实时3D成像方面更具挑战性。我们需要为视觉系统获取高精度的深度图像，并在极短的时间内重建高质量的 3D 场景。为了打破高速低延时3D成像的瓶颈，来自香港中文大学（深圳）数据科学学院（SDS）的孙启霖教授团队和点昀技术团队克服多个技术难点，提供了高速低延时3D成像的解决方案。

SDS 的高级计算成像实验室和点昀技术最近开发了一款高精度、高帧率和低延迟的 RGBD 相机 [1]，面向高精度实时三维重建和工业、车轨等。支持毫米级精度、120fps（1080P）和低至0.8ms的超低片上ISP延迟。深度成像基于飞行时间传感器，该传感器探测了相机和物体之间的光传播时间。为实现超低延迟和超低功耗，团队构建了全并行异构计算处理器，避免了因DDR内存读写带来的延时和高功耗，利用ASIC实现RGB和深度流的高复杂度图像处理算法。

研发团队希望他们的工作能够帮助解决低延迟和高精度 3D 成像的关键问题，并通过交互式 VR 系统将人类带入虚拟现实世界。

* 该文章由数据科学学院高级计算成像实验室供稿。

[1]https://pointspread.cn/